【NLP论文分享 && QA问答】动态关联GNN建立直接关联，优化multi-hop推理（含源码）

点击下方链接🔗关注我们

引言

以知识图谱 (KG) 的形式使用外部知识源是问答模型的最新趋势。但是有时在提取的KG子图过程中会遗漏了节点和边的重要信息，导致对话失败。针对该问题，本文提出了一种新颖的图神经网络架构，称为动态相关图网络（DRGN）。DRGN 基于问答实体对给定的 KG 子图进行操作，并使用节点之间的相关性分数来动态建立新边，以学习图网络中的节点表示。

背景介绍

 解决QA问题通常需要语言理解和人类常识知识。大规模预训练语言模型 (LM) 在许多 QA 基准测试中取得了成功。然而，当需要对外部知识进行推理时，LM 很难预测答案。因此，以知识图谱 (KG) 的形式明确使用外部知识源是问答模型的最新趋势。 上图取自 CommonsenseQA 基准，显示了一个示例，其中回答问题需要常识推理。在此示例中，外部 KG 提供了所需的背景信息，以获取从问题到答案的推理链。「之前解决这一QA问题的方法中存在的两个问题」:

• 1)提取的KG子图有时会遗漏实体之间的一些边，这打破了推理链;
• 2)问题的语义上下文和与答案的连接使用不当，例如，当问题中存在否定语，如no和not时，推理是有问题的。

 上述「第一个问题」主要是由以下原因引起的。

• 首先，「知识图本来是不完善的」，没有包含所需的边。
• 然后，在构造子图时，为了减小图的大小，大多数模型选择出现在two-hop路径上的实体。因此，「在提取的KG子图中遗漏了一些中间概念(实体)节点和边」。在这种情况下，子图不包含完整的推理链。
• 最后，「当涉及的概念之间没有直接联系时，当前的模型往往无法对路径进行推理」。虽然在QA中找到推理链通常是具有挑战性的，但当KG是唯一的来源且存在缺失的边时，这个问题就更加关键了。回头看看上图,KG子图就忽略了吉他和演奏乐器之间的直接联系(绿色箭头)。

 对于上述「第二个问题」，正如Lin等人所指出的，以前的模型对否定词不敏感，因此会预测相反的答案。「QA-GNN 模型是第一个处理负面问题的工作。QA-GNN 通过在图中添加 QA 全局节点，在一定程度上改进了否定下的推理，但是仍然不完善」。

 为了解决上述问题，本文提出了一种新的架构，称为「动态关联图网络(DRGN)。DRGN旨在恢复缺失的边缘，并建立概念之间的直接联系，以促进multi-hop推理」。特别是，DRGN模型使用关系图网络模块，同时使用一个附加的关联矩阵来影响相邻节点的重要性。它可以潜在地恢复缺失的边，并在训练过程中根据KG中节点表示的相关性建立直接连接。该模块可以捕获遥远节点之间的连接，同时受益于现有的KG边缘。该模型直接基于通过内积运算计算的子图实体对之间的关联分数学习表示。在图神经网络的每一卷积层上，根据节点当前层的节点表示动态计算节点的内积，并基于该相关性测度构建邻域，形成相应的相关性矩阵。 「这可以被视为一种学习新边的方法，随着每层的训练向前推进，同时根据相关性动态地影响邻居的权重」。如上图所示，吉他和演奏乐器之间的关联得分强于子图中的其他节点。此外，由于图中包含了问题节点，因此在每一层都计算问题节点与实体节点之间的相关性，从而更有效地利用上下文信息。

动态关联图网络(DRGN)

 下图是本文提出的动态相关图网络(DRGN)体系结构。DRGN包括四个模块:语言上下文编码器模块、KG子图构建模块、图神经网络模块和答案预测模块。 其中蓝色实体节点代表问题中提到的实体。黄色节点代表答案节点。红色节点是问题节点。我们使用不同的颜色来绘制动态相关矩阵1和2，因为相关矩阵在每个图神经层中动态变化。

实验快照

 「在两个不同的QA基准上评估DRGN的模型，其中CommonsenseQA、OpenbookQA」。这两个基准测试都附带一个外部知识图。我们将ConceptNet应用于这两个基准的外部知识图。

 1、CommonsenseQA基准上各种模型的开发精度和测试精度。 2、在OpenbookQA基准上开发和测试各种模型性能的准确性。 3、从问题节点到候选答案节点的完整推理链。 其中蓝色节点是问题实体节点，红色和绿色节点是候选答案节点。较粗的边缘表示与邻域节点的相关性得分较高，而较细的边缘表示较低的得分。左侧是从本文的模型中选择的推理链（橙色边缘），而右侧是从基线模型中选择的（灰色边缘）。

推荐阅读

论文&&源码

Title: Dynamic Relevance Graph Network for Knowledge-Aware Question Answering

Author:  密歇根州立大学

Paper：https://arxiv.org/pdf/2209.09947v1.pdf

Code：https://github.com/hlr/drgn

点击下方链接🔗关注我们

「资料整理不易，点个赞、再看吧」